Cours D’apprentissage Statistique

2. Etude du LASSO 2.1. Erreur de prédiction. Proposition 2.1. Soit ŵ ∈ Argmin(J). Si ∆ = ŵ−w∗, et ||Ω||∞ ≤ λ2 , alors ||∆Jc ||1 ≤ 3||∆J ||1, où on note J le support de w∗. Pour démontrer cette proposition on rappelle des résultats sur la norme duale. Définition 1. Soit N une norme sur R, ∀y,N∗(y) = supN(x)≤1 x>y Proposition 2.2. La norme duale est une norme, et vérifie N∗∗ = N . ∀(x, y), x>y ≤ N(x)N∗(y) Exemple 1. Si N = l, N∗ = l avec 1/p+ 1/q = 1. Démonstration 1. (Proposition 2.1) 1 2 ∆>C∆− r>∆ + λ||w∗ + ∆||1 ≤ λ||w||1 = λ||w∗ J ||1 Or 1 2∆ >C∆ est une forme quadratique positive. Par la propriété de la norme duale, r>∆ ≤ ||Ω||∞||∆||1 ≤ λ 2 ||∆||1 λ||w∗ + ∆||1 ≤ λ||w∗ J ||1 + ||Ω||∞||∆||1 ≤ λ||w∗ J ||+ λ 2 (||∆J ||1 + ||∆Jc ||1) λ||w∗ + ∆||1 = λ||w∗ J + ∆J ||1 + λ||w∗ Jc + ∆Jc ||1 ≥ λ||w∗ J ||1 − λ||∆J ||1 + λ||∆Jc ||1 Finalement, λ2 ||∆Jc ||1 ≤ 3 λ 2 ||∆J ||1. Corollaire 2.3 (Majoration de l’erreur de prédiction). 1 n ||Xŵ −Xw||2 => ∆C∆ ≤ 6λ||w||1